static-delta: Initialize read_source_fd to -1

If not, we'll get ESPIPE when seeking on fd 0.

Closes: #260
Approved by: cgwalters

static-delta: Put temp files in /var/tmp

We may not have write permissions in the current directory.

Closes: #259
Approved by: cgwalters

refs: Add g_prefix_error around opendir for easier debugging

Addresses:
  https://github.com/projectatomic/rpm-ostree/issues/264

We should consider moving this down into `glnx_opendirat`, but for now
a quick fix.

Closes: #255
Approved by: jlebon

Look for $remotename.trustedkeys.gpg in remotes.d dir

This is a nice way to add gpg keys for system configured remotes
without making them globally trusted.

Closes: #247
Approved by: cgwalters

Add remotes-config-dir to OstreeRepo

This allows you to replace the default
$sysroot/$sysconfdir/ostree/repos.d string value, and to use a similar
feature for repos that are not the system repo.

In particular, this allows us to support /etc/xdg-app/remotes.d for
xdg-app.

Closes: #247
Approved by: cgwalters

man: Elaborate on per-remote GPG

Closes: #258
Approved by: alexlarsson

Add OstreeRepo option for an out-of-band cache dir

This allows you to have a writable cache dir even for a system-owned
repository.

Closes: #250
Approved by: cgwalters

Add cache_dir_fd to OstreeRepo

This will allow us later to easily swap out the cache dir.

Closes: #250
Approved by: cgwalters

commit: Fix crash if dfd_iter is NULL

in write_directory_content_to_mtree_internal dfd_iter can be NULL,
for instance if commiting from --tree=ref=FOO. Don't blindly de-ref
it to avoid crashing.

Closes: #256
Approved by: cgwalters

fetcher: Initialize output_stream_set_lock mutex

ostree pull-local crashed for me in thread_closure_unref () doing:
    g_mutex_clear (&thread_closure->output_stream_set_lock);

Seems like we never initialize this mutex.

Closes: #254
Approved by: cgwalters

Fix AS_HELP_STRING for builtin grub2 mkconfig

Closes: #253
Approved by: giuseppe

build: Move grub2-15_ostree back to pkglibexecdir

It's not quite namespaced enough to have
`/usr/libexec/grub2-15_ostree`, and the Fedora spec file expects
things in `/usr/libexec/ostree`.  Changing the spec file would be
annoying as we'd need conditionals.

Closes: #249
Approved by: gatispaeglis

pull: More consistently use remote_repo_local for local repos

I think it's cleaner if we use `remote_repo_local` to know
that we have a local repo.  In reality, it might be nicest
if we didn't even create an `OstreeFetcher` for this case,
but untangling the code is tricky.

Closes: #239
Approved by: alexlarsson

ostree-repo-pull: always initialize flags_i

Otherwise we get undefined behaviour if the client didn't explicitly set
any flags.

Also, add documentation for all the other options supported by
ostree_repo_pull_with_options().

Closes: #252
Approved by: cgwalters

Fix the symbol versions for ostree_repo_get_remote_*option

These were accidentally added to 2016.4 instead of 2016.5

Closes: #251
Approved by: cgwalters

small cleanups

- Revert 'cannot' --> 'can not' (it's the exception!)
- Remove duplicate function
- Squelch compiler warnings

Closes: #248
Approved by: cgwalters

Add support for ostree static-delta delete

Closes: #245
Approved by: giuseppe

cfg.mk: ignore syntax-check for git.mk

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #246
Approved by: cgwalters

Add test case for inheriting remote options

Closes: #236
Approved by: cgwalters

Inherit remotes and remote options from parent repo

Closes: #236
Approved by: cgwalters

Export ostree_repo_get_remote_option* functions

These are useful for ostree users (like xdg-app) that have custom
options for remotes. In particular they are useful when we later make them
all respect self->parent_repo.

Closes: #236
Approved by: cgwalters

Support pathnames for --subpath=...

This allows you to pull a single file, rather than just a directory.

Closes: #244
Approved by: cgwalters

Use git.mk

It's a lot nicer than manually maintaining .gitignore in general.

Closes: #235
Approved by: giuseppe

docs: Prefer the form "cannot" to "can not"

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #242
Approved by: cgwalters

Remove empty new lines at the EOF

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #242
Approved by: cgwalters

contrib: indent golang code using only tabs instead of both tabs and spaces

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #242
Approved by: cgwalters

tests: add missing ${CMD_PREFIX} before ostree

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #242
Approved by: cgwalters

tests: add libostreetest.h to EXTRA_DIST

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Closes: #242
Approved by: cgwalters

build: Make tests/libreaddir-rand.so rule use AM_V_GEN

So non-verbose builds don't have a verbose rule smack in the middle.

Closes: #241
Approved by: giuseppe

build: Find grub2-mkconfig a bit more automagically

If one happens to not have grub2 installed, the previous commit
would cause us to fall back to `grub-mkconfig` with bad results.

We should likely just do dynamic detection and avoid pain, but
there's no harm in also allowing this to be statically determined.

The automagic here is that if `/etc/os-release` says `ID_LIKE=fedora`,
we know to use `grub2-mkconfig`.  But distro scripts should set this
in the build configurations using `--with-grub2-mkconfig=`.

Closes: #240
Approved by: jlebon

pull-local: Support --gpg-verify and --gpg-verify-summary

Force the otherwise disabled gpg verifications on.
Note: You need to pass --remote=foo so we know what gpg keys to verify
against.

Closes: #237
Approved by: cgwalters

Fix local-pull test

This was not being run for whatever reason. Also, the test
count was wrong.

Closes: #237
Approved by: cgwalters

pull: Don't try to cache summaries for pull-local

Not only does this not make sense from a performance perspective, but
it also doesn't work because we can't use a url as a path element.

Closes: #237
Approved by: cgwalters

Introducing ostree-grub-generator

ostree-grub-generator can be used to customize
the generated grub.cfg file. Compile time
decision ostree-grub-generator vs grub2-mkconfig
can be overwritten with the OSTREE_GRUB2_EXEC
envvar - useful for auto tests and OS installers.

Why this alternative approach:

1) The current approach is less flexible than using a
   custom 'ostree-grub-generator' script. Each system can
   adjust this script for its needs, instead of using the
   hardcoded values from ostree-bootloader-grub2.c.

2) Too much overhead on embedded to generate grub.cfg
   via /etc/grub.d/ configuration files. It is still
   possible to do so, even with this patch applied.
   No need to install grub2 package on a target device.

3) The grub2-mkconfig code path has other issues:
   https://bugzilla.gnome.org/show_bug.cgi?id=761180

Task: https://bugzilla.gnome.org/show_bug.cgi?id=762220

Closes: #228
Approved by: cgwalters

manual: Fix a bunch of typos and docbookisms

Closes: #238
Approved by: cgwalters

libtest.sh: only check whether $(pwd) is empty once

test-sysroot.js runs libtestExec() twice, one of which is after
creating non-hidden directories in $(pwd), so this check needs to be
skipped the second time.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #234
Approved by: cgwalters

test-xattrs: sync how this is skipped with test-rofiles-fuse

If we touch test-xattrs before sourcing libtest.sh, we get:

test tmpdir=/tmp/test-tmp-ostree_test-xattrs.sh.test-HSEXEY is not
empty; run this test via `make check TESTS=`, not directly

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #234
Approved by: cgwalters

test-abi: use G_TEST_SRCDIR, G_TEST_BUILDDIR

There's no need to invent new variables for these.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #234
Approved by: cgwalters

libtest.sh: use G_TEST_SRCDIR, G_TEST_BUILDDIR to find resources

This fixes the bug that in installed-tests that run testlib.sh under
"bash -c" (i.e. the C and JS tests), $(dirname $0) is "." and we can't do
the LD_PRELOAD correctly:

ERROR: ld.so: object './libreaddir-rand.so' from LD_PRELOAD cannot be
preloaded (cannot open shared object file): ignored.

Similarly, those tests can't copy gpghome correctly.

This also removes the confusing situation that SRCDIR in libtest.sh
(which is ${top_srcdir}/tests) does not mean the same thing as SRCDIR
in test-abi.sh (which is just ${top_srcdir}).

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #234
Approved by: cgwalters

tests: Make failing to kill the GPG agent non-fatal

It's not working for me in `make check` on a RHEL 7 Workstation,
apparently because no GPG agent is spawned.  I'm guessing this has
something to do with the GPG version?

The downside of this is we will be less likely to notice if GPG
changes again and we start leaking agents like we're in The Matrix
Reloaded.  But the real solution to that is containers anyways.

Closes: #233
Approved by: smcv

Probe for GNU parallel more accurately

moreutils parallel isn't compatible with the command-line syntax
used here. Because it doesn't implement GNU-style --help and exits 1
when that option is given, this test was correctly skipped when
using moreutils parallel, but only by mistake.

moreutils parallel might conceivably gain --help and --version in
future, but hopefully nothing incompatible with GNU parallel is going
to gain a --gnu option.

Also use the --gnu option to force the new command-line semantics;
some versions optionally supported an incompatible command-line syntax
taken from moreutils parallel.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

basic-test: commit with a non-empty subject

[smcv: split out from a larger commit, part of PR #231; add commit message]
Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

test-pull-untrusted.sh: always corrupt a regular file, not a symlink

test-pull-untrusted.sh would pass when run as root, but fail when run
as testuser. It turned out that the way the files were stored in the
repo when running as a testuser were different, which meant that a
different .file object was chosen for corruption. Except that file
turned out to be a symlink, so the echo "broke" actually just wrote
to the no_such_file symlink target, thus keeping the actual symlink
file's checksum the same and causing the pull-local to pass when it
should have failed.

[smcv: split this out of a larger commit, part of PR #231]
Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

Skip tests that run rofiles-fuse if /dev/fuse or /etc/mtab unavailable

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

Force libreaddir-rand to be a shared library

If installed-tests are disabled, it would normally be a static
(convenience) library, which isn't something we can LD_PRELOAD.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

tests/admin-test.sh: this is a bash script, not a POSIX sh script

The "function foo()" syntax is bash-specific, and Colin indicated in
PR #226 that he prefers to require bash rather than trying to support
every POSIX shell.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

Load g-i bindings from builddir during build-time testing

Previously, the build-time tests would only pass if the g-i bindings to
OSTree were already installed, with a reasonably similar version.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

.gitignore: update

Closes: #232
Approved by: cgwalters

In tests that use gpg, terminate the gpg-agent after testing

Otherwise we leak those processes.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

tap-test: clean up temporary test directories as intended

The script created ./.testtmp but looked for ./.test, which isn't
going to work.

This means the various "ostree trivial-httpd --autoexit" processes
actually exit, because their web roots are cleaned up now.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

Symlink libreaddir-rand.so into tests directory

This means it can be LD_PRELOADed during build-time testing.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

various tests: skip if temp directory lacks xattr support

Some autobuilder environments place the entire build chroot on tmpfs, so
even /var/tmp might not have this.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

test-xattrs: use TAP syntax to skip test

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #232
Approved by: cgwalters

docs/CONTRIBUTING.md: Update for github move, Homu etc.

Closes: #230
Approved by: jlebon

commit: support editor for orphan commits

This is a follow up to #227 to allow ostree to open the editor also for
orphan commits when no subject or body is given on the cmdline.

Closes: #229
Approved by: cgwalters

commit: Support writing orphans

The API supports this, and it's not hard for us to do in the command
line as well.  One possible use case is separating "content
generation" in a separate server.

Related: https://github.com/ostreedev/ostree/pull/223

Closes: #227
Approved by: jlebon

commit: Support generating commits with no parent, or a custom one

When I'm doing local development builds, it's quite common for me not
to want to accumulate history.  There are also use cases for this on
build servers as well.

In particular, using this, one could write a build system that didn't
necessarily need to have access to (a copy of) the OSTree repository.
Instead, the build system would determine the last commit ID on the
branch, and pass that to a worker node, then sync the generated
content back.

The API supported generating custom commits that don't necessarily
reference the previous commit on the same branch, let's just expose
this in the command line for convenience.

I plan to also support this rpm-ostree.

Closes: #223
Approved by: jlebon

docs: Add a section on repository management

Just keeping my promise to write more documentation.  There could be a
lot more to write here, but I'm trying to get a start done.

Closes: #222
Approved by: jlebon

packaging: fix bashism in dist-snapshot target

On Debian and its derivatives, /bin/sh is a lightweight POSIX shell
(currently dash) which does not support the bash {foo,bar} syntax.

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #226
Approved by: cgwalters

main: Set log handler for OSTree domain

Now that OSTree is used as G_LOG_DOMAIN, set the main handler to match
so the appropriate messages are filtered. It would probably be more
appropriate to spell out "OSTree" in the code, but since G_LOG_DOMAIN is
being defined globally in the project, might as well reuse it here.

https://bugzilla.gnome.org/show_bug.cgi?id=764237

Closes: #225
Approved by: cgwalters

build: Set G_LOG_DOMAIN to OSTree

This will allow ostree programs to filter log messages specifically for
OSTree instead of using the NULL domain for ostree debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=764237

Closes: #225
Approved by: cgwalters

core: Add debug messages for traversing

If you have a repo where a needed object has been inadvertantly removed,
all you'll get is a "No such metadata object" error with no clue about
where it was referenced from.

Add some debug messages to provide clues about which objects are being
traversed and found.

https://bugzilla.gnome.org/show_bug.cgi?id=764006

Closes: #224
Approved by: cgwalters

core: Add verbose messages for pruning

When prune fails, it can be really difficult to figure out why. This at
least lets you know which objects are being considered.

https://bugzilla.gnome.org/show_bug.cgi?id=764006

Closes: #224
Approved by: cgwalters

OstreeSePolicy: add ostree_sepolicy_get_csum()

This can be used as a fingerprint to determine whether two
OstreeSePolicy objects are equivalent.

Also add documentation for ostree_sepolicy_get_name().

Closes: #219
Approved by: cgwalters

Add --untrusted option to pull and pull-local

https://bugzilla.gnome.org/show_bug.cgi?id=764125

Closes: #221
Approved by: cgwalters

pull: Add OSTREE_REPO_PULL_FLAGS_UNTRUSTED flag

If this is set we verify all objects we pull, even for local remotes,
and we avoid hard-linking into local source repos.

https://bugzilla.gnome.org/show_bug.cgi?id=764125

Closes: #221
Approved by: cgwalters

tests: Add a test-abi

This would have caught a potential ABI regression in
https://bugzilla.gnome.org/show_bug.cgi?id=764056
(If we ran this test while building `--without-libarchive`)

Pull request: #218
Approved by: jlebon

Merge pull request #220 from cgwalters/travis-stub

Add a stub .travis.yml

Add a stub .travis.yml

This is at the moment just so that we can use Homu.  In the future I'd
like to make travis just one of multiple PR testers we use.

Release 2016.4

traverse: Require variant when traversing dirtree

The dirtree object is required for traversing, so don't use the
load_variant_if_exists() function. This will return a
G_IO_ERROR_NOT_FOUND to the caller rather than trying to ref a NULL
variant in ostree_repo_commit_traverse_iter_init_dirtree() if the object
is missing.

https://bugzilla.gnome.org/show_bug.cgi?id=764091

tests: Add a commitpartial + prune test

Followup for previous commit.

prune: Don't fail on partial commits

If a commit only pull has been done, then the commit object exists in
the object store in addition to the commitpartial file. Traversing this
partial commit will likely fail, but that's expected. If traverse
returns a G_IO_ERROR_NOT_FOUND in this case, continue with pruning.

https://bugzilla.gnome.org/show_bug.cgi?id=764091

pull local: Don't import objects we already have

In particular, I noticed this because the pull failed when trying to
pull from a shallow repo which only had the new objects that was
needed.

https://bugzilla.gnome.org/show_bug.cgi?id=764059

Fix building without libarchive

Although libarchive is an optional build option, the build
fails without it.

https://bugzilla.gnome.org/show_bug.cgi?id=764056

admin: Add an `unlock` command, and libostree API

I'm trying to improve the developer experience on OSTree-managed
systems, and I had an epiphany the other day - there's no reason we
have to be absolutely against mutating the current rootfs live.  The
key should be making it easy to rollback/reset to a known good state.

I see this command as useful for two related but distinct workflows:

 - `ostree admin unlock` will assume you're doing "development".  The
   semantics hare are that we mount an overlayfs on `/usr`, but the
   overlay data is in `/var/tmp`, and is thus discarded on reboot.
 - `ostree admin unlock --hotfix` first clones your current deployment,
   then creates an overlayfs over `/usr` persistent
   to this deployment.  Persistent in that now the initramfs switchroot
   tool knows how to mount it as well.  In this model, if you want
   to discard the hotfix, at the moment you roll back/reboot into
   the clone.

Note originally, I tried using `rofiles-fuse` over `/usr` for this,
but then everything immediately explodes because the default (at least
CentOS 7) SELinux policy denies tons of things (including `sshd_t`
access to `fusefs_t`).  Sigh.

So the switch to `overlayfs` came after experimentation.  It still
seems to have some issues...specifically `unix_chkpwd` is broken,
possibly because it's setuid?  Basically I can't ssh in anymore.

But I *can* `rpm -Uvh strace.rpm` which is handy.

NOTE: I haven't tested the hotfix path fully yet, specifically
the initramfs bits.

libglnx porting: Use glnx_opendirat()

This unfortunately adds *more* `gs_file_get_path_cached()`, but we'll
fix that all in one go.

libglnx porting: Use glnx_shutil_rm_rf_at()

In some cases (such as `ostree-sysroot-cleanup.c`), the surrounding
code would be substantially cleaner if it was also ported to
fd-relative, but I'm going to do that in a separate patch.

That way these patches are easier to review for mechanical
correctness.  I used an Emacs keyboard macro as the poor man's
[Coccinelle](http://coccinelle.lip6.fr/).

libglnx porting: Use glnx_set_error_from_errno

:warning: There is a notable spiked pit trap here around
`posix_fallocate()` and `errno`.  This has bit other projects,
see e.g.
https://github.com/systemd/systemd/commit/7bb87460e691d30c1a7fd23a1a8240776957e05f

Otherwise the port was straightforward.

Use GSubprocess instead of GSSubprocess (libgsystem removal)

Since we hard-depend on GLib 2.40, we can start using GSubprocess.
This is part of dropping our dependency on libgsystem, which is
deprecated in favor of libglnx (as well as migrating things to GLib).

admin-switch: Add missing reboot argument

Spotted by jlebon in https://github.com/GNOME/ostree/pull/211

test-libarchive: fix underlinking

Signed-off-by: Simon McVittie <smcv@debian.org>

Skip test_libarchive_ignore_device_file if we cannot write xattrs

The test tries to get a filesystem that supports xattrs by writing
to /var/tmp, but in some automated build environments the entire
build chroot is on a tmpfs.

Signed-off-by: Simon McVittie <smcv@debian.org>

tests/admin-test.sh: add #!/bin/sh

This is executable and appears to be intended to be executed directly,
so it should have a #! line.

mkdocs: Fix the site name

deploy: Handle a read-only /boot

I'd like to encourage people to make OSTree-managed systems more
strictly read-only in multiple places.  Ideally everywhere is
read-only normally besides `/var/`, `/tmp/`, and `/run`.

`/boot` is a good example of something to make readonly.  Particularly
now that there's work on the `admin unlock` verb, we need to protect
the system better against things like `rpm -Uvh kernel.rpm` because
the RPM-packaged kernel won't understand how to do OSTree right.

In order to make this work of course, we *do* need to remount `/boot`
as writable when we're doing an upgrade that changes the kernel
configuration.  So the strategy is to detect whether it's read-only,
and if so, temporarily mount read-write, then remount read-only when
the upgrade is done.

We can generalize this in the future to also do `/etc` (and possibly
`/sysroot/ostree/` although that gets tricky).

One detail: In order to detect "is this path a mountpoint" is
nontrivial - I looked at copying the systemd code, but the right place
is to use `libmount` anyways.

manual: Migrate related projects wiki page into manual

This content currently lives here:
<https://wiki.gnome.org/Projects/OSTree/RelatedProjects>.  Moving it
into the manual in Markdown:

 - Makes it look better
 - It's more useful alongside the rest of the docs
 - Is much less crummy in general than the GNOME wiki

Don't fail "ostree remote refs" if writing the summary cache is not permitted

It used to be allowed to run something like "ostree remote refs" on
a read-only (e.g. system) repo. However, the summary cache caused that to
break. This commit just makes it not save the cache if we get some kind
of permission error when writing it. It'll still work, even without the
cache.

https://bugzilla.gnome.org/show_bug.cgi?id=763855

libglnx porting: gs_transfer_out_value -> g_steal_pointer

It's a bit more verbose but...eh.

libglnx porting: xattr calls

These are straightforward as the libgsystem versions were already just
equivalent shims.

libglnx porting: gs_free -> g_autofree

There were surprisingly few uses left.

libglnx porting: gs_fd_close -> glnx_fd_close

I'd like to eventually kill libgsystem.

tests: Strengthen test tmpdir sanity check, be compat with ginsttest saving

GNOME Continuous uses ginstest-runner --report-directory, which causes
the tests to save their tmpdirs persistently.  This also means the
result directories didn't match the `/(var/)?tmp` regexp, which broke
the ostree tests in GContinuous.

Fix this by simply asserting that the tmpdir either has `.tmpdir` or
nothing.

contrib/golang: Initial golang bindings

We were considering using this for Docker integration, but we may end
up going a different architectural path.  Anyways, it doesn't hurt to
have the bindings in here - they can do a few things.

I decided to fork some of the core code from
https://github.com/dradtke/gotk3 because...well, what we really need a
GIR-based core generator but I didn't want to start on the fully
correct thing until we knew we wanted it, and this was a quick hack.

Also, let's make a `contrib/` directory for things like this.

docs: Add a section on writing buildsystems

And add a test that is a demo buildsystem.

docs: Cleanup Markdown

I was going through the new version of the docs and noticed a few
problems.  Mostly URLs that aren't linked, extra whitespace, and a few
mis-spellings.

I ran the files through `aspell check` and made some manual changes
myself.

These changes were tested locally with `mkdocs serve`

rofiles-fuse: Fix permission comparison

We want to allow write if the devinode is in the set,
not the other way around.

https://bugzilla.gnome.org/show_bug.cgi?id=763676

repo: Fix the skip-summary-if-summary.sig-is-same cache

This code was always downloading the summary even for a cache hit due
to a missing else.

tests: add test for summary file caching

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

prune: delete all cached summaries files

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>